Chunqi SHI & Jonah BU
66
The Logistic Regression Written in 66 Days
June 3, 2016
Springer
Preface
腫腮腯 腯腮腥 腴腨腩腮腧脺 腴腨腡腴 腫腮腯腷 腮腯腴腨腩腮腧脡 ˜ 腓腯腣腲腡腴腩腣 腰腡腲腡腤腯
广之一
行表
脱脮
广线
腉腖 腓腯腦腴腭腡腸
腖腉 腇腌腍脬腍腡腸腅腮腴脬腍腌腅
腖腉 腐腃腁
脲脮 功则
?? 脨腓腖腍脬腎腂脬腌腄腁脩
??
?? 架构
划动
们一二个命名脶脶》。
Contents
Part I (LR)
1 Logisitic
脱脮脱
脱脮脲 腌腯腧腩腳腴腩腣
Part II 广广广线线线(GLM)
2 广广广线线线
脲脮脱 广线
脲脮脲 广线 脱脰
Part III (SRM)视角
3 (SRM) 脱脷
脳脮脱 什么脨腅腒腍脩 脱脷
脳脮脲 脱脹
脳脮脲脮脱 腓腒腍 脲脱
脳脮脲脮脲 腓腒腍 脲脲
脳脮脲脮脳 L
2
L
1
脲脳
4 (Regularization) 脲脹
脴脮脱 脲脹
脴脮脲 脳脱
脴脮脳 脳脳
Part IV 从两(Bi-Class)(Multi-Class)
5 从二(Binomial)(Multinominal) 脳脹
脵脮脱 脨腃腯腩腮 腯腳腳脩脨腄腩腣腥脩 脳脹
脵脮脱脮脱 努力脨腂腥腲腮腯腵腬腬腩脩 脳脹
腶腩腩
腶腩腩腩 腃腯腮腴腥腮腴腳
脵脮脱脮脲 脨腂腩腮腯腭腩腡腬脩 脳脹
脵脮脱脮脳 脨腍腵腬腴腩腮腯腭腩腮腡腬脩 脴脰
6 从二(Binomial Regression)(Multinominal
Regression) 脴脱
脶脮脱 腇腌腍 脴脱
脶脮脲 脨腓腯腦腴腭腡腸脩 脴脳
脶脮脲脮脱 脨腓腯腦腴腭腡腸脩 脴脳
脶脮脲脮脲 脨腓腯腦腴腭腡腸脩 脴脳
Part V (MaxEnt)
7 脴脷
脷脮脱 脨腐腲腩腮腣腩腰腬腥 腯腦 腍腡腸腩腭腵腭 腅腮腴腲腯腰腹脩 脴脷
脷脮脲 腌腯腧腩腳腴腩腣 脴脸
脷脮脳 腌腯腧脭腌腩腮腥腡腲 脵脰
Part VI (Entropy)GLM, MaxEnt, MLE
8 (Entropy) 脵脵
脸脮脱 脵脵
脸脮脱脮脱 脵脵
脸脮脱脮脲 期望 脵脸
脸脮脲 脶脰
脸脮脲脮脱 的直 脶脰
脸脮脲脮脲 脶脲
脸脮脲脮脳 脶脴
Part VII Logistic PCA
9 Logistic PCA 脶脹
脹脮脱 脨腐腃腁脩 脶脹
脹脮脱脮脱 脶脹
脹脮脱脮脲 脷脰
脹脮脱脮脳 脷脱
脹脮脲 腐腃腁广 脷脲
脹脮脲脮脱 脷脲
脹脮脲脮脲 腂腲腥腧腭腡腮 脷脳
脹脮脲脮脳 腐腃腁广脨腐腃腁 腦腯腲 腴腨腥 腅腸腰腯腮腥腮腴腩腡腬
腡腭腩腬腹脩 脷脴
A Logisitic 脷脹
腁脮脱 腓腩腧腭腯腩腤 腌腯腧腩腳腴腩腣腌腯腧腩腴 脷脹
腁脮脱脮脱 腓腩腧腭腯腩腤 脷脹
腁脮脱脮脲 腌腯腧腩腳腴腩腣 脷脹
腁脮脱脮脳 腌腯腧腩腴 脸脰
腃腯腮腴腥腮腴腳 腩腸
B 广广广线线线 脸脱
腂脮脱 脸脱
腂脮脱脮脱 脨腇腅腆脩 脸脱
腂脮脱脮脲 脨腎腅腆脩 脸脱
腂脮脱脮脳 脨腍腖腎腆脩 脸脲
C (Entropy) 脸脳
腃脮脱 脸脳
腃腯腮腴腥腮腴腳
x
x
x
A
X
D
σ
2
Σ
D
H
H
L
P ·脩脬 P ·|·
p·脩脬 p·|·
E
·∼D
f·脩腝 f·D期望
V ar
·∼D
f·脩腝 f·D
Lθ
Lθ|x 脩 脽 P x |θ 脨腌腩腫腥腬腩腨腯腯腤脩
`θ Log
IA 腯腲 I
A
x
k · k
p
L
p
pL
2
2
腈腥腳腳腩腡腮
H H脨腐腓腄脩
A A脨腐腄脩
HX 腯腲 Hp XpX
IX Y XY
KLpkq pq腋腌
腡腲腧 腭腩腮 腡腲腧 腭腩腮
x
fx脩 脽 {x | fx脩 脽 腭腩腮
x
0
fx
0
}
腡腲腧 腭腡腸 腡腲腧 腭腡腸
x
fx脩 脽 {x | fx脩 脽 腭腡腸
x
0
fx
0
}
Part I
(LR)
Chapter 1
Logisitic
1.1
一下个人线线了一件什么事
线一个期望脨腃腯腮腤腩腴腩腯腮腡腬 腅腸腰腥腣腴腡腴腩腯腮脩脺
EY 脩 脽 θ
T
x b
一个
等等
脨腃腬腡腳腳腩脌腣腡腴腩腯腮脩
脨腒腵腬腥脩
一个
不一
为事
一个
脹脰脥
期望 XY P rY |X
Y 脨腂腩脭腃腬腡腳腳腥脩腜脱脢腜脰脢PrY 脱脩 EY
脨腒腥腧腲腥腳腳腩腯腮 腵腮腣腴腩腯腮脩
脨腃腯腮腤腩腴腩腯腮腡腬
腐腲腯腢腡腢腩腬腩腴 腵腮腣腴腩腯腮脩
P rY |X x px θpθ
x
i
likelihood function
n
Y
i=1
P rY y
i
|X x
i
脩 脽
n
Y
i=1
px
i
θ
y
i
脨脱 px
i
θ脩脩
1y
i
脨脱脮脱脩
x
i
每次px θ一个p腬腩腫腥腬腩腨腯腯
腌腯腧腩腳腩腴腩腣
n
Y
i=1
p
y
i
脨脱 p
1y
i
一个努利脨腂腥腲腮腯腵腬腬腩 腴腲腩腡腬脩
px θ对它 x
i
Y
x
i
Y 一个p
maximum likelihood estimation
θ
1.2 Logistic
Y x
Y P rY |X x 线线线
x 线脨腬腩腮腥腡腲 腦腵腮腣腴腩腯腮脩−∞,
p 腛脰, 脱腝p
使线腬腯腧 p腬腯腧 腛脰, 脱腝
−∞, 脰腝腬腯腧 腛脰,
−∞, p点点使
腛脰,
p
1p
腬腯腧
p
1p
腬腯腧腩腳腴腩腣腬腯腧腩腴−∞,
使线线腬腯腧腩腳腴腩腣
logistic
腬腯腧
px θ
px θ
θx 脨脱脮脲脩
px θ
px θ脩 脽
e
(θx )
脨脱脮脳脩
腬腯腧腩腳腴腩腣形式
p
1p
腤腤腳腬腯腧
p
1p
腬腯腧 腤腤腳腤腤腳
讨论
使上一
脨脱脮脱脩式得腬腩腫腥腬腩腨腯
Lθ脩 脽
n
Y
i=1
px
i
θ
y
i
脨脱 px
i
θ脩脩
1y
i
脨脱脮脴脩
腬腩腫腥腬腩腨腯腬腯腧腬腯腧脭腬腩腫腥腬腩腨腯腯
脱脮脲 腌腯腧腩腳腴腩腣
`θ
n
X
i=1
y
i
腬腯腧 px
i
θ 脨脱 y
i
腬腯腧脨脱 px
i
θ脩脩 脨脱脮脵脩
n
X
i=1
腬腯腧脨脱 px
i
θ脩脩
n
X
i=1
y
i
腬腯腧
px
i
θ
px
i
θ
脨脱脮脶脩
n
X
i=1
腬腯腧脨脱 px
i
θ脩脩
n
X
i=1
y
i
θx
i
脨脱脮脷脩
n
X
i=1
腬腯腧脨脱 e
θx
i
n
X
i=1
y
i
θx
i
脨脱脮脸脩
脨脱脮脶脩脨脱脮脷脩使脨脱脮脲脩腬腯腧
p(x ;θ)
1p(x ;θ)
θx 脨脱脮脷脩脨脱脮脸脩使脨脱脮脳脩
px θ脩 脽
1
1+e
(θx )
腬腩腫腥腬腩腨腯腯腬腯腧脭腬腩腫腥腬腩腨腯 θ
θ
i
`
θ
i
n
X
i=1
e
θx
i
e
θx
i
x
ij
n
X
i=1
y
i
x
ij
脨脱脮脹脩
n
X
i=1
y
i
px
i
θ脩脩x
ij
脨脱脮脱脰脩
x
ij
x
i
j
脨脱脮脱脰脩 腣腬腯腳腥腤脭腦腯腲腭 腳腯腬腵腴腩腯腮脩
使Gradient DescentNewton Method 等算
Part II
广广广线线线(GLM)
Chapter 2
广广广线线线
2.1 广广广线线线
上一线腌腯腧腩腳腩腴腣广线
思想
线腌腯腧腩腳腴腩腣一件
y线θ
T
x y了一
ygy脩脩使gy−∞,
使线归得gy脩 脽 θ
T
x
腌腯腧腩腳腴腩腣一个两y
x PrY |X x
gy腬腯腧
y
1y
么一个
等等
gy广线
广线Generalized Linear Model GLM
脱脮 脨腒腡腮腤腯腭 腃腯腭腰腯腮腥腮腴脩 y
i
x
i
脨腃腯腮腤腩腴腩腯腮腡腬 腄腩腳腴腲腩腢腵腴腩腯腮脩
Exponential Families 脨腇腡腵腳腳腩腡腮 腯腲
腎腯腲腭腡腬脩脨腂腩腮腯腭腩腡腬脩脨腐腯腩腳腳腯腮脩脨腇腡腭腭腡脩
腇腌腍 脨腍腵腬腴腩腶腡腲腩腡腴腥 腅腸腰腯腮腥腮腴腩腡腬 腡腭腩脭
腬腩腥腳脩脨腎腯腮脭腥腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腩腥腳脩y
i
讨论
脲脮 线Linear Predictor 线
η
i
θ
T
x
i
θ
0
θ
1
x
i1
θ
2
x
i2
··· θ
m
x
im
腇腌腍线
脳脮 Link Function一个脨腳腭腯腯腴腨脩脨腩腮腶腥腲腴腩腢腬腥脩g·
Ey
i
使gEy
i
脩脩
µ
i
Ey
i
脱脰 广线
gµ
i
脩 脽 η
i
θ
0
θ
1
x
i1
θ
2
x
i2
··· θ
m
x
im
腌腯腧腩腳腴腩腣腌腯腧腩腳腴腩腣
广线期望线线线(Linear Model)
期望线线线(Non-linear Model)
腌腯腧腩腳腴腩腣 腌腒线 线
θ
T
x 腌腯腧腩腳腴腩腣腬腯腧
y
1y
腌腒
腇腌腍x
i
期望µ
i
腌腒µ
i
x n
中事件脨腂腩腮腯腭腩腡腬 腄腩腳腴腲腩腢腵腴腩腯腮脩
使
西线θ
T
x
腌腯腧腩腳腴腩腣腌腯腧腩腳腴腩腣
腓腩腧腭腯腩腤 线
期望
腇腌腍
腌腯腧腩腳腴腩腣使线
腇腌腍
期望下一
2.2 广广广线线线
腇腌腍
腌腯腧腩腳腴腩腣
py θ, φ脩 脽 腥腸腰腛
yθ bθ
aφ
cy, φ脩腝 脨脲脮脱脩
py θ, φY Y Y
a·b·c·三个三个也不
θ Canonical Parameter
θ g
c
µg
c
·Canonical Link Functionµ
Y 期望EY
φ Dispersion Parameter φ >
θ
脨脲脮脱脩
Y µ
V arY
脲脮脲 广线 脱脱
µ b
0
θ 脨脲脮脲脩
V arY aφb
00
θ 脨脲脮脳脩
两个上一一个
GLM
两个Moment Generating Function
Cumulant Generating Function腭腯腭腥腮腴
义为
M
X
t脩 脽 Ee
tX
脨脲脮脴脩
M
X
tt期望
d
dt
M
X
t脩 脽 EXe
tX
d
dt
2
M
X
t脩 脽 EX
2
e
tX
d
dt
k
M
X
t脩 脽 EX
k
e
tX
t 脽 脰分别
d
dt
M
X
脨脰脩 脽 EX
d
dt
2
M
X
脨脰脩 脽 EX
2
d
dt
k
M
X
脨脰脩 脽 EX
k
脨脲脮脴脩
继续义为腬腯腧
K
X
t脩 脽 腬腯腧 M
X
t 脨脲脮脵脩
K
X
tt
d
dt
K
X
t脩 脽
M
0
X
t
M
X
t
d
dt
2
K
X
t脩 脽
M
X
tM
00
X
t M
0
X
t
2
M
X
t
2
M
0
X
t脩 脽
d
dt
M
X
tt 脽 脰
脱脲 广线
d
dt
K
X
脨脰脩 脽 EX µ 脨脲脮脶脩
d
dt
2
K
X
脨脰脩 脽 EX
2
E
2
X V arX 脨脲脮脷脩
µXV arXX K
X
tt
脨腔腹腬腯腲 腳腥腲腩腥腳 腥腸腰腡腮腳腩腯腮脩
K
X
脨脰脩 脽
X
k=0
k
d
k
dt
k
K
X
脨脰脩
d
k
dt
k
K
X
脨脰脩Xk
脨脲脮脱脩
脨脲脮脵脩
Kt脩 脽
bθ aφt bθ
aφ
脨脲脮脸脩
tt 脽 脰
K
0
t脩 脽
b
0
θ aφ脩脩aφt
aφ
b
0
θ aφtaφ脩 脽 b
0
θ
K
00
t脩 脽 b
00
θ aφta
2
φ脩 脽 b
0
θaφ
K
(k)
b
(k)
θa
k
φ
b
(k)
θ脩 脽
d
k
k
bθ脨脲脮脶脩脨脲脮脷脩 脨脲脮脲脩脨脲脮脳脩
脨脲脮脲脩θθ g
c
µ
b
0
θ脩 脽 µ g
1
c
θ 脨脲脮脹脩
b
0
·g
c
·
期望
腌腯腧腩腳腴腩腣期望Y
py θ, φ脩 脽 腥腸腰腛
yθ 腬腯腧脨脱 e
θ
/n
腬腯腧
n
ny
bθ脩 脽 腬腯腧脨脱 e
θ
g
c
µ
g
1
c
θ脩 脽 b
0
θ脩 脽
e
θ
µ
脲脮脲 广线 脱脳
g
c
µ脩 脽 腬腯腧
θ
θ
腬腯腧腩腳腩腴腩腣
广线期 望从二
腬腯腧腩腳腩腴腩腣腬腯腧腩腳腴腩腣
Part III
(SRM)视角
Chapter 3
(SRM)
3.1 什么(ERM)
脨腅腭腰腩腲腩腣腡腬 腒腩腳腫 腍腩腮腩腭腩腺腡腴腩腯腮脩脨腅腒脩
脨腌腯腳腳 腵腮腣腴腩腯腮脩腡腰腮腩腫
腓腖腍
一个脲脰脱脴脷脷腡腣腥腂腯腯腫
ERX, Y, θ脩 脽
n
n
X
1
Lossx
i
, y
i
, θ
X x
1
, . . . , x
n
T
, Y 脽 脨y
1
, . . . , y
n
T
θ
脨腅腲腲腯腲 腵腮腣腴腩腯腮 腯腲 腅腒腆脩
Lossx
i
, y
i
, θ脩 脽 ERF f x
i
|θ, y
i
(
fx
i
|θ y
i
2
腩腦 腅腒腆 腩腳 腓腅
|fx
i
|θ y
i
| 腩腦 腅腒腆 腩腳 腁腅
腅腒腆 脨腓腱腵腡腲腥腤 腅腲腲腯腲 腯腲 腓腅脩脨腁腢腳腯腬腵腴腥 腅腲脭
腲腯腲 腯腲 腁腅脩 脨腍腓腅脩
脨腍腁腅脩
腌腯腧脨腎腥腧腡腴腩腶 腌腯腧 腌腩腫腥腬腩腨腯腯 腯腲 腎腌腌脩
Lossx
i
, y
i
, θ脩 脽 `θ|x
i
, y
i
脩 脽 腬腯腧 P x
i
, y
i
|θ.
Lossx
i
, y
i
, θ脩 脽 `θ|x
i
, y
i
脩 脽 腬腯腧 px
i
, y
i
|θ.
脱脷
脱脸 脨腓腒腍脩
腅腒腍腎腌腌
ERX, Y, θ脩 脽
n
n
X
1
`θ|x
i
, y
i
脩 脽
n
n
X
1
腬腯腧 px
i
, y
i
|θ
n
腬腯腧
n
Y
1
px
i
, y
i
|θ
n
腬腯腧 pX, Y |θ
脨腒腥腳腩腤腵腡腬脩
rx
i
, y
i
, θ脩 脽 fx
i
|θ y
i
价于 腎腌腌
价于腎腎腌
rx
i
, y
i
, θ N 脨脰, σ
2
脩 脽
腡腲腧 腭腩腮
θ
fx
i
|θ y
i
2
腡腲腧 腭腩腮
θ
腬腯腧
σ
π
e
(f (x
i
|θ)y
i
)
2
2σ
2
rx
i
, y
i
, θ Laplace脨脰, b脩 脽
腡腲腧 腭腩腮
θ
|fx
i
|θ y
i
| 腡腲腧 腭腩腮
θ
腬腯腧
b
e
|f (x
i
|θ)y
i
|
b
一下
脨腓腅脩
脱脮 价于腎腌腌
脲脮 < 脱脩> 脱脩
脳脮脱脩
脳脮
脨腁腅脩
脱脮 价于腎腌腌
脲脮 < 脱脩> 脱脩于不
脳脮脱脩
脳脮 脨腓腭腯腯腴腨腥腤 腁腢脭
腳腯腬腵腴腥 腅腲腲腯腲脩一个腈腵腢腥腲
脳脮脲 脱脹
Fig. 3.1
3.2
X Y
脨腔腲腵腥 腒腩腳腫脩
脨腂腡腹腥腳 腒腩腳腫脩
脨腆腩腴腴腩腮腧脩
脨腕腮腤腥腲 腆腩腴腴腩腮腧脩
脱脮 够复
脲脮
脨腏腶腥腲 腆腩腴腴腩腮腧脩
脱脮
脲脮 使脨腃腲腯腳腳 腡腬腩腤腡腴腩腯腮脩
脳脮 使脨腒腥腧腵腲腡腬腩腺腡腴腩腯腮脩
腖腃
使
脨腓腴腲腵腣腴腵腲腥 腒腩腳腫
腍腩腮腩腭腩腺腡腴腩腯腮脩
脲脰 脨腓腒腍脩
Table 3.1
SRX, Y, θ脩 脽 ERX, Y, θ λ · Reguralizationθ
小就
θ
脽 腡腲腧 腭腩腮
θ
SRX, Y, θ脩 脽 腡腲腧 腭腩腮
θ
ERX, Y, θ λ · Reguralizationθ脩脩
λ
于一个f F
f
脽 腡腲腧 腭腩腮
f∈F
SRX, Y, f脩 脽 腡腲腧 腭腩腮
f∈F
ERX, Y, f λ · Reguralizationf脩脩
一些脨腮腯腮脭腰腡腲腡腭腥腴腲腩腣脩脨腃腁腒腔脬
腃脴脮脵脩脨腐腲腵腮腩腮腧脩
形式λ
L
p
L
p
脨腎腯腲腭脩x
x
1
, x
2
, . . . , x
n
kxk
p
脽 脨|x
1
|
p
|x
2
|
p
··· |x
n
|
p
1
p
.
Fig. 3.2 pL
p
脳脮脲 脲脱
L
p
kθk
p
L
p
p
kθk
p
p
Reguralizationθ脩 脽 kθk
p
p
|θ|
X
k=1
|θ
k
|
p
3.2.1 SRM
(
腭腩腮 fx
gx
腭腩腮
x
腭腡腸
λ
Lx, λ脩 脽 腭腩腮
x
腭腡腸
λ
fx λ · gx
腋腋腔 λ · gx λ 6 gx
λ
脽 腡腲腧 腭腡腸
λ
Lx, λ6脽 脰
(
腭腩腮 fx
gx
腭腩腮
x
fx λ
· gx
果有λ
6脽 脰
fθ脩 脽 ERMX, Y, θ
gθ脩 脽 R
L
p
θ C
腡腲腧 腭腩腮
θ
SRMX, Y, θ 腡腲腧 腭腩腮
θ
ERMX, Y, θ λ
R
L
p
θ
腡腲腧 腭腩腮
θ
ERMX, Y, θ λ
R
L
p
θ C
(
腭腩腮
θ
ERMX, Y, θ
R
L
p
θ C
C
gθ脩 脽 R
L
p
θ C 脽 脰λ
6脽 脰
脲脲 脨腓腒腍脩
λ
脽 腡腲腧 腭腡腸
λ
ERMX, Y, θ λR
L
p
θ C
R
L
p
θ CCλ
ERMX, Y, θ
fθ
脳脮脳脩gx, y cfx, y
fx, y脩 脽 d
n
线gx, y脩 脽 c
Fig. 3.3 fx, y脩 脽 d
n
线gx, y脩 脽 c
腓腒腍R
L
p
θ C 线ERMX, Y, θ
d
n
线
3.2.2 SRM
腎腌腌
SRMX, Y, θ脩 脽 ERMX, Y, θ λR
L
p
θ
n
腬腯腧 pX, Y |θ λR
L
p
θ
n
腬腯腧 pX, Y |θ
n
腬腯腧 e
nλR
L
p
(θ)
n
腬腯腧 pX, Y |θ · e
nλR
L
p
(θ)
e
nλR
L
p
(θ)
e
0
脽 脱们令
priorθ脩 脽 e
nλR
L
p
(θ)
腛脰, 脱腝
priorθθ脨腐腲腩腯腲 腐腲腯腢腡腢腩腬腩腴腹脩 腅腒腍
脨腍腌腅脩
脳脮脲 脲脳
腡腲腧 腭腩腮
θ
ERMX, Y, θ 腡腲腧 腭腡腸
θ
pX, Y |θ θ
MLE(X,Y |θ)
腓腒腍脨腍腁腐脩
腡腲腧 腭腩腮
θ
SRMX, Y, θ 腡腲腧 腭腡腸
θ
pX, Y |θ · e
nλR
L
p
(θ)
脽 腡腲腧 腭腡腸
θ
pX, Y |θ · priorθ
θ
MAP (X,Y |θ)
以从了个
priorθ脩 脽
e
λR
L
p
(θ)
n
e
R
L
p
(θ)
λ
1
n
一个e
λR
L
p
(θ)
3.2.3 L
2
L
1
L
2
R
L
2
θ脩 脽 kθk
2
2
kθk
2
θ
2
1
θ
2
2
. . . θ
2
m
β 脽 脨β
1
, β
2
线脳脮脴脩
R
L
2
β脩 脽 β
2
1
β
2
2
C β
2
1
β
2
2
C
腅腒腍腍腓腅ERMX, Y, β 线Y β
T
·X
线脨腒腩腤腧腥 腒腥腧腲腥腳腳腩腯腮脩
ERMX, Y, β脩 脽
n
n
X
1
β
T
· x
i
y
i
2
β 脽 脨X
T
X λI
1
X
T
Y
好处
脱脮 明显一个好处线脨腍腵腬腴腩腣腯腬腬腩腮腥腡腲腩腴腹脩
X
T
X 脨腐腓腄脩脨腓腩腮腧腵腬腡腲脩
λI
脲脮 脳脮脴脬 β 使β
线 脨腂腥腳腴 腌腩腮腥腡腲 腕腮腢腩腡腳腥腤 腅腳腴腩腭腡腴腥脩
脲脴 脨腓腒腍脩
脨腍腩腮腩腭腵腭 腡腲腩腡腮腣腥 腕腮腢腩腡腳腥腤 腅腳腴腩腭腡腴腯腲脩腂腌腕腅腍腖腕腅
脨腂腩腡腳脩 脨腖腡腲腩腡腮腣腥脩 脨腂腩腡腳
腡腲腩腡腮腣腥 腲腡腤腥腯脋
脨腏腵腴腬腩腥腲脩 退
使型在
λ λ
E
y
f
2
Ey
2
f
2
y
f
Ey
2
E
f
2
E腛脲y
f
脽 腖腡腲腛y Ey
2
腡腲腛
f E
f
2
f E
f
脽 腖腡腲腛y 腡腲腛
f f E
f腝脩
2
脽 腖腡腲腛y 腡腲腛
f Ef
f
2
σ
2
腡腲腛
f 腂腩腡腳腛
f
2
f x ·
β
脳脮 L
2
腍腓腅
使
R
L
1
θ脩 脽 kθk
1
|θ
1
| |θ
2
| ··· |θ
m
|.
腍腓腅L
1
腌腡腳腳腯脨腌腥腡腳腴
腁腢腳腯腬腵腴腥 腓腨腲腩腮腫腡腧腥 腡腮腤 腓腥腬腥腣腴腩腯腮 腏腰腥腲腡腴腯腲 腒腥腧腲腥腳腳腩腯腮脩
β β
1
, β
2
线线一个脳脮脴脩
R
L
1
β脩 脽 |β
1
| |β
2
| C
(
β
1
β
2
C 腩腦 β
1
> 脰脦脦β
2
>
腩腦
腌腡腳腳腯
脱脮 腌腡腳腳腯R
L
1
β C
ERX, Y, β使
β
两个线切到使一个
切到线
m
脲脮 腌腡腳腳腯
脨腆腥腡腴腵腲腥 腓腥腬腥腣腴腩腯腮脩
脳脮脲 脲脵
Fig. 3.4 腌脱腌脲
脨腆腩腬腴腥腲脩脨腗腲腡腰腰腥腲脩
1
腌腡腳腳腯脩中了腆腩腬腴腥腲
腲腡腰腰腥腲
脳脮 腌腡腳腳腯以不脨腃腯腮腪腵腧腡腴腥
腇腲腡腤腩腥腮腴脩
脨腃腯腲腲腤腩腮腡腴腥 腄腥腳腣腥腮腴脩脨腐腲腯腸腩腭腡腬 腇腲腡腤腩腥腮腴脩
e
λR
L
p
(θ)
L
2
L
1
e
λkθk
2
θ N 脨脰,
r
λ
e
λkθk
1
θ Laplace脨脰,
λ
脳脮脵
L
2
L
1
腅腬腡腳腴腩腣腎腥腴
线腅腬腡腳腴腩腣腎腥腴
1
腲腡腰腰腥腲
脲脶 脨腓腒腍脩
Fig. 3.5 腌腡腰腬腡腣腥 腶腳 腎腯腲腭腡腬 腄腩腳腴腲腩腢腵腴腩腯腮
腌腡腳腳腯腌腡腳腳腯 线
腅腬腡腳腴腩腣腎腥腴一个
Fig. 3.6 腅腬腡腳腴腩腣 腎腥腴
脳脮脲 脲脷
λR
EN
θ脩 脽 αλ
1
R
L
1
θ 脨脱 αλ
2
R
L
2
θ
R
EN
θ脩 脽 α
λ
1
λ
kθk
1
脨脱 α
λ
2
λ
kθk
2
λ
1
λ
αkθk
1
脨脱 α
λ
2
λ
1
kθk
2
λ
1
λ
αkθk
1
脨脱 α
λ
2
λ
1
kθk
2
αkθk
1
脨脱 α
kθk
2
腩腦 λ
1
λ 腡腮腤 λ
2
λ
脲脡
腪腵腳腴 腬腩腫 腡腹腬腯腲脧腳 腦腯腲腭腵腬腡
α R
EN
θ R
L
1
θ α R
EN
θ
1
2
R
L
2
θ
α又叫L
1
λ
腅腬腡腳腴腩腣腎腥腴L
1
alpha
腲腹脭腡腮腤脭腆腡腩腬 脨腃腖脩
λ alpha
λalpha腇腲腩腤 腓腥腡腲腣腨化参
机查脨腒腡腮腤腯腭 腓腥腡腲腣腨脩
腲腹 腡腮腤 腦腡腩腬脬 腢腵腴 腮腥腶腥腲 腦腡腩腬 腴腯 腴腲腹脡
ν脭腓腖腍腓腖腍 L
1
Cλ腓腍腏C
ν脭腓腖腍C腍腡腲腧腩腮ν 腛脰, 脱腝
C C
νν
Chapter 4
(Regularization)
腓腒腍的目
λ
也不
4.1
腓腒腍
了两腓腅腁腅腌腒
一个两y
i
{, }脰脭脱脨腉腮腤腩腣腡腴腯腲脩
Err
n
X
1
Iy
i
6fx
i
|θ脩脩
y
i
{, }y
0
i
脽 脲y
i
{−, }
什么好处{−, }
讨论一 下y
i
fx
i
|θ
Iy
i
fx
i
|θ脩脩 y
i
f x
i
|θ脩 脽 脱 y
i
f x
i
|θ脩 脽
Iy
i
6fx
i
|θ脩脩 y
i
f x
i
|θ脩 脽 y
i
f x
i
|θ脩 脽 脱
脨腈腥腡腶腩腳腩腤腥 腳腴腥腰 腦腵腮腣腴腩腯腮脩
脲脹
脳脰 脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩
Loss Hy
i
f x
i
|θ脩脩 Hx脩 脽
(
, x < ,
, x ,
脰脭脱y
i
f x
i
|θ
一个y
i
fx
i
|θ形式
Lossfx
i
|θ, y
i
脩 脽 φy
i
fx
i
|θ脩脩 φx脩 脽
(
, x > ,
, x ,
Ix 脰脩
腌腒腎腌腌
y
i
{−, } x
i
, y
i
腌腯腧腩腳腴腩腣 y
i
P x
i
脩 脽
e
θ
T
x
i
Lossx
i
, y
i
, θ脩 脽
(
腬腯腧 P x
i
腩腦 y
i
脽 脱
腬腯腧 P x
i
腩腦 y
i
(
腬腯腧
1
1+e
θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧
1
1+e
θ
T
x
i
腩腦 y
i
(
腬腯腧 e
θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧
e
θ
T
x
i
1+e
θ
T
x
i
腩腦 y
i
(
腬腯腧 e
θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧
1+e
θ
T
x
i
e
θ
T
x
i
腩腦 y
i
(
腬腯腧 e
θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧 e
θ
T
x
i
腩腦 y
i
(
腬腯腧 e
θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧 e
θ
T
x
i
腩腦 y
i
脽 腬腯腧 e
y
i
(θ
T
x
i
)
ERX, Y, θ脩 脽
n
n
X
1
腬腯腧 e
y
i
(θ
T
x
i
)
脴脮脲 脳脱
广线们令线 fx
i
|θ θ
T
x
i
腌腒
Lossfx
i
|θ, y
i
脩 脽 φy
i
fx
i
|θ脩脩 脽 腬腯腧 e
y
i
f(x
i
|θ)
φx脩 脽 腬腯腧 e
x
4.2
y
i
fx
i
y
i
{−, }
脨腃腬腡腳腳腩脌腣腡腴腩腯腮 腍腡腲腧腩腮脬 腃腍脩 脨腓腵腰腰腯腲腴 腥腣腴腯腲
腍腡腣腨腩腮腥脬 腓腖腍脩于一个二线脴脮脱
于两个x
i
, y
i
脽 脱脩 x
j
, y
j
脱脩
(
fx
i
脩 脽 θ
T
x
i
b 腷腨腥腲腥 y
i
脽 脱
fx
j
脩 脽 θ
T
x
j
b 腷腨腥腲腥 y
j
yfx
CMx , y|θ脩 脽 yfx
Fig. 4.1 腃腬腡腳腳腩脌腣腡腴腩腯腮 腍腡腲腧腩腮
脳脲 脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩
线f x
脲 脽 脲yfx yfx
腓腖腍腌腯腳腳腃腍铰链脨腈腩腮腧腥 腌腯腳腳脩
Lossx , y|θ脩 脽 腭腡腸 脨脰, yfx |θ脩脩 φx脩 脽 腭腡腸脨脰, x
Fig. 4.2 腃腍 腡腮腤 腌腯腳腳 腵腮腣腴腩腯腮脨 腚腥腲腯脭腏腮腥 腌腯腳腳脬 腈腩腮腧腥 腌腯腳腳 腡腮腤 腌腯腧腩腳腴腩腣 腌腯腳腳脩
腌腯腳腳 CM 腌腯腧腩腳腴腩腣
腌腯腳腳一个
φx脩 脽
腬腯腧
腬腯腧 e
x
腌腯腧腩腳腴腩腣 腌腯腳腳腈腩腮腧腥 腌腯腳腳脰脭脱 腌腯腳腳一个上
脰脭脱 腌腯腳腳 一个脨腅腸腰腯腮腥腮腴腩腡腬 腌腯腳腳脩脺
Ix 脰脩 e
x
φx脩 脽 e
x
腁腤腡腢腯腳腴个上腁腤腡腢腯腳腴
收敛中也
脴脮脳 脳脳
Fig. 4.3 腃腍 腡腮腤 腌腯腳腳 腵腮腣腴腩腯腮 腚腥腲腯脭腏腮腥 腌腯腳腳脬 腈腩腮腧腥 腌腯腳腳脬 腌腯腧腩腳腴腩腣 腌腯腳腳脬 腡腮腤
腅腸腰腯腮腥腮腴腩腡腬 腌腯腳腳脩
Table 4.1
形式
脰脭脱脨腚腥腲腯脭腏腮腥 腌腯腳腳脩 Ix 脰脩 腌腩腮腥腡腲 腂腩腮腡腲腹 腃腬腡腳腳腩脌腣腡腴腩腯腮
铰链脨腈腩腮腧腥 腌腯腳腳脩 φx脩 脽 腭腡腸脨脰, x 腓腖腍
脨腌腯腧腩腳腴腩腣 腌腯腳腳脩 φx脩 脽
1
log 2
腬腯腧 e
x
腌腯腧腩腳腴腩腣 腒腥腧腲腥腳腳腩腯腮
脨腅腸腰腯腮腥腮腴腩腡腬 腌腯腳腳脩 φx脩 脽 e
x
腁腤腡腂腯腯腳腴
4.3
脱脮
脨腆腥腡腴腵腲腥 腓腥腬腥腣腴腩腯腮脬 腆腓脩脨腆腥腡腴腵腲腥 腅腸腴腲腡腣腴腩腯腮脬
腆腅脩
脨腆腩腬腴腥腲脩 脨腃腯腲腲腥腬腡腴腩腯腮脩
脨腍腵腴腵腡腬 腉腮腦腯腲腭腡腴腩腯腮脩脨腗腲腡腰腰腥腲脩
脨腓腖腍脬腋腎腎
脨腕腮腳腵腰腥腲腶腩腳腥腤脩
脨腐腲腩腮腣腩腰腬腥 腃腯腭腰腯腮腥腮腴 腡腮腡腬腹腳腩腳脬 腐腃腁脩
脨腓腥腬腦脭腏腲腧腡腮腩腺腩腮腧 腍腡腰腰腩腮腧脬 腓腏腍脩 使
脨腓腵腰腥腲腶腩腳腥腤脩 线 脨腌腩腮腥腡腲 腄腩腳腣腲腩腭腩腮腡腮腴
腁腮腡腬腹腳腩腳脬 腌腄腁脩脨腐腲腯腪腥腣腴腩腯腮 腐腵腲腳腵腩腴脬 腐腐脩
脳脴 脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩
脲脮 退脨腅腡腲腬腹 腓腴腯腰腰腩腮腧脩脺 择或退
退
试误
脳脮 L
1
L
2
脩脺
θ
脽 腡腲腧 腭腩腮
θ
SRX, Y |θ脩 脽 腡腲腧 腭腩腮
θ
n
n
X
1
腬腯腧 e
y
i
θ
T
x
i
λkθk
p
p
脽 腡腲腧 腭腩腮
θ
n
n
X
1
腬腯腧 e
y
i
θ
T
x
i
λ
|θ|
X
k=0
|θ
k
|
p
L
2
脨腐腲腥腣腯腮腤腩腴腩腯腮腥腤 腃腯腮腪腵腧腡腴腥 腇腲腡腤腩腥腮腴脬 腐腃腇脩
脨腌腩腭腩腴腥腤 腍腥腭腯腲腹 腂腆腇腓脬 腌脭腂腆腇腓脩L
2
L
1
L
1
脨腓腵腲腲腯腧腡腴腥脩
Table 4.2 L
2
L
1
腍腥腴腨腯 L
2
L
1
腇腲腡腤腩腥腮 腄腥腳腣腥腮腴 腁腤腡腭 腁腤腡腭
腃腯腯腲腤腩腮腡腴腥 腄腥腳腣腥腮腴 腃腹腣腬腩腣 腃腯腯腲腤腩腮腡腴腥 腄腥腳腣腥腮腴 脨腃腄腎脩
腃腯腮腪腵腧腡腴腥 腇腲腡腤腩腥腮 腐腲腥腣腯腮腤腩腴腩腯腮腥腤
腃腇
腱腵腡腳腩脭腎腥腷腴腯腮 腌脭腂腆腇腓 腏腲腴腨腡腮腴脭腗腩腳腥 腌腩腭腩腴腥腤脭腭腥腭腯腲腹 腑腵腡腳腩脭
腎腥腷腴腯腮 脨腏腗腌脭腑腎脩
腐腲腯腸腩腭腡腬 腇腲腡腤腩腥腮腴 腃腯腭腰腯腳腩腴腥 腏腢腪腥腣腴腩腶 腇腄 脨腃腏腇腄脩
脴脮脳 脳脵
脨腡脩 L
1
线 脨腢脩 L
2
线
Fig. 4.4 L
1
L
2
线 L
1
Part IV
从两(Bi-Class)(Multi-Class)
脳脸
脨腓腯腦腴腭腡腸 腒腥腧腲腥腳腳腩腯腮脩 脨腍腵腬腴腩腮腯腭腩腮腡腬
腌腯腧腩腳腴腩腣 腒腥腧腲腥腳腳腩腯腮脩脨腂腩腮腯腭腩腡腬
腌腯腧腩腳腴腩腣 腒腥腧腲腥腳腳腩腯腮脩
Chapter 5
从二(Binomial)
(Multinominal)
5.1 (Coin Toss)(Dice)
5.1.1 努力(Bernoulli)
脨腂腥腲腮腯腵腬腬腩脩Bernoullip
p p
腂腥腲腮腯腵腬腬腩
fx p脩 脽 p
x
脨脱 p
1x
x {, }
5.1.2 (Binomial)
n了二Bn, p
努力脨腂腥腲腮腯腵腬腬腩脩
X
k
Bernoullip Y
n
X
k=1
X
k
腂脨n, p
fx n, p脩 脽
n
x
p
x
脨脱 p
nx
x {, , . . . , n}
努力分一个
Bernoullip脩 脽 B脨脱, p
脳脹
脴脰 从二脨腂腩腮腯腭腩腡腬脩脨腍腵腬腴腩腮腯腭腩腮腡腬脩
5.1.3 (Multinominal)
把 抛脨腤腩腣腥脩Kn
Mx
1
, ··· , x
K
|n, p
1
, ··· , p
K
fx
1
, . . . , x
K
n, p
1
, . . . , p
K
脩 脽
n
x
1
···x
K
p
x
1
1
···p
x
K
K
, 腷腨腥腲腥
K
X
i=1
x
i
n
Γ
P
i
x
i
脱脩
Q
i
Γ x
i
脱脩
K
Y
i=1
p
x
i
i
. Γ 腩腳
一个
Bn, p脩 脽 M x, n x|n, p, p
T q
t
t
K
T
k
b
T
···b
2
b
1
, 腷腨腥腲腥 b
t
{, }k
p
k
T
Y
1
q
b
t
t
脨脱 q
t
1b
t
Mx
1
, ··· , x
K
|n, p
1
, ··· , p
K
脩 脽 Mx
1
, ··· , x
2
T
|n,
T
Y
t=1
脨脱 q
t
, ··· ,
T
Y
t=1
q
t
Chapter 6
从二(Binomial Regression)
(Multinominal Regression)
6.1 GLM
广线脨腇腌腍脩 Y Bn, p
Y Mx
1
, ··· , x
K
|n, p
1
, ··· , p
K
腇腌腍
脨腌腩腮腫 腵腮腣腴腩腯腮脩线gEy
i
脩脩 脽 θ
T
x
i
θ
0
Y Bn, p µ
i
Ey
i
Bernoullip
Lµ | Y 脩 脽
n
Y
i=1
µ
i
Iy
i
脽 脱脩 脨脱 µ
i
Iy
i
脽 脰脩脩 脽
n
Y
i=1
µ
y
i
i
脨脱 µ
i
1y
i
gµ
i
脩 脽 η
i
θ
T
x
i
θ
0
θ
0
θ
1
x
i1
θ
2
x
i2
··· θ
m
x
im
脽 脨θ
0
, θ
1
, ··· , θ
m
T
脨脱, x
1
, ··· , x
m
脩 脽 θ
0T
x
0
i
EY 脩 脽 µ g
1
θ
0T
X
0
腇腌腍形式
f
X
x | θ脩 脽 hx 腥腸腰
ηθ · Tx Aθ
形式
脴脱
脴脲 从二脨腂腩腮腯腭腩腡腬 腒腥腧腲腥腳腳腩腯腮脩脨腍腵腬腴腩腮腯腭腩腮腡腬 腒腥腧腲腥腳腳腩腯腮脩
fx p脩 脽
n
x
p
x
脨脱 p
nx
, x {, , , . . . , n}
n
x
腥腸腰
x 腬腯腧
p
p
n 腬腯腧脨脱 p
µ 脽 腅脨Y gµ脩 脽 η 脽 腬腮
p
p
θ
0T
X
0
p
e
η
e
θ
0T
X
0
fx
1
, . . . , x
K
n, p
1
, . . . , p
K
脩 脽
n
x
1
···x
K
p
x
1
1
···p
x
K
K
n
x
1
···x
K
腥腸腰腛
K
X
k=1
x
k
腬腯腧 p
k
n
x
1
···x
K
腥腸腰腛
K1
X
k=1
x
k
腬腯腧
p
k
p
K
腬腯腧 p
K
K
X
k=1
x
k
Y M c
1
, ··· , c
K
|n, p
1
, ··· , p
K
µ
ik
Ey
i
c
k
Lµ | Y 脩 脽
n
Y
i=1
K
X
k=1
µ
ik
Iy
i
c
k
脩脩
gµ
ik
脩 脽 η
ik
θ
T
k
x
i
θ
0k
θ
0T
k
x
0
i
g 脽 脨gµ
i1
, ··· , gµ
iK
脩脩
T
脽 脨η
i1
, ··· , η
iK
T
η
形式
η
腬腮 p
1
C
腬腮 p
K
C
g
1
C
e
η
1
C
e
η
K
e
η
1
P
K
k=1
e
η
k
e
η
K
P
K
k=1
e
η
k
腷腨腥腲腥
P
K
k=1
e
η
k
C
脶脮脲 脨腓腯腦腴腭腡腸脩 脴脳
η
腬腮
p
1
p
K
腬腮
p
K1
p
K
腬腮
p
1
P
K1
k=1
p
k
腬腮
p
K1
P
K1
k=1
p
k
g
1
e
η
1
P
K
k=1
e
η
k
e
η
K
P
K
k=1
e
η
k
e
η
1
P
K1
k=1
e
η
k
e
η
K1
P
K1
k=1
e
η
k
P
K1
k=1
e
η
k
6.2 (Softmax)
6.2.1 (Softmax)
脨腓腯腦腴腭腡腸脩 广线脨腇腌腍脩
脨腓腯腦腴腭腡腸脩
σz
i
σ脨脨z
1
, . . . , z
i
, . . . , z
K
脩脩
i
e
z
i
P
K
k=1
e
z
k
i {, . . . , K}
6.2.2 (Softmax)
脨腓腯腦腴腭腡腸脩脨腭腵腬腴腩腣腬腡腳腳 腌腒脩脬
η上两个η
脱脮 腋脭脱 腋脭脱
腬腮
腐腲脨Y
i
脽 脱脩
腐腲脨Y
i
K
β
1
· X
i
腬腮
腐腲脨Y
i
脽 脲脩
腐腲脨Y
i
K
β
2
· X
i
······
腬腮
腐腲脨Y
i
K 脱脩
腐腲脨Y
i
K
β
K1
· X
i
脴脴 从二脨腂腩腮腯腭腩腡腬 腒腥腧腲腥腳腳腩腯腮脩脨腍腵腬腴腩腮腯腭腩腮腡腬 腒腥腧腲腥腳腳腩腯腮脩
腐腲脨Y
i
K脩 脽
P
K1
k=1
e
β
k
·X
i
腐腲脨Y
i
脽 脱脩 脽
e
β
1
·X
i
P
K1
k=1
e
β
k
·X
i
腐腲脨Y
i
脽 脲脩 脽
e
β
2
·X
i
P
K1
k=1
e
β
k
·X
i
······
腐腲脨Y
i
K 脱脩 脽
e
β
K1
·X
i
P
K1
k=1
e
β
k
·X
i
脲脮 腌腯腧线脨腌腯腧脭腌腩腮腥腡腲脩
一个Z线
腌腯腧线
腐腲脨Y
i
脽 脱脩 脽
Z
e
β
1
·X
i
腐腲脨Y
i
脽 脲脩 脽
Z
e
β
2
·X
i
······
腐腲脨Y
i
K脩 脽
Z
e
β
K
·X
i
脱 脽
K
X
k=1
腐腲脨Y
i
k脩 脽
K
X
k=1
Z
e
β
k
·X
i
Z
K
X
k=1
e
β
k
·X
i
Z
K
X
k=1
e
β
k
·X
i
Part V
(MaxEnt)
Chapter 7
分别广线脨腇腌腍脩脨腓腒腍脩
腌腯腧腩腳腴腩腣们从一个腼腼脨腅腮腴腲腯腰腹脩
腌腯腧腩腳腴腩腣腌腯腧腩腳腴腩腣以 从接推
7.1 (Principle of Maximum Entropy)
一个
掌握
脨腐腲腯腢腡腢腩腬腩腴腩腥腳脩脨腅腮腴腲腯腰腹脩
脨腃腯腮腳腴腲腡腩腮腴腳脩 三个
A
i
iA
i
pA
i
i < pA
i
pA
i
脨脷脮脱脩
X
i
pA
i
脩 脽 脨脷脮脲脩
S
X
i
pA
i
腬腯腧
2
pA
i
脨脷脮脳脩
pA
i
脨腕腮腣腥腲腴腡腩腮腴腹脩
脨腉腮腦腯腲腭腡腴腩腯腮脩
脨脸脮脳脩pA
i
脴脷
脴脸
下主且从
使
pA
i
形式期望A
i
了一个gA
i
pA
i
期望G
X
i
pA
i
gA
i
脩 脽 G 脨脷脮脴脩
使脨腌腡腧腲腡腮腧腩腡腮脩
腌腯腧腩腳腴腩腣
7.2 Logistic
σx
v
xvK
σx
v
σx
v
σx
v
σx
v
脨脷脮脵脩
K
X
v=1
σx
v
脽 脱 脨脷脮脶脩
σx
v
脨腔腲腡腩腮腩腮腧 腓腥腴脩σx
v
n
X
i=1
σx i脩脩
v
x i
j
n
X
i=1
I
v
yi脩脩x i
j
脨脷脮脷脩
I
u
yi脩脩yi u yi 6 u 脨脸脮脷脩
一个u一个jx i
j脨腐腲腯腢腡腢腩腬腩腴腹 腍腡腳腳脩
x iuσx i脩脩
v
I
u
yi脩脩一个
σx i脩脩
v
义为
脷脮脲 腌腯腧腩腳腴腩腣 脴脹
K
X
v=1
n
X
i=1
σx i脩脩
v
腬腯腧脨σx i脩脩
v
脨脷脮脸脩
脨脸脮脵脩脨脸脮脶脩脨脸脮脷脩脨脸脮脸脩一个
使法求
L
m
X
j=1
K
X
v=1
λ
v,j
n
X
i=1
σx i脩脩
v
x i
j
n
X
i=1
I
v
yi脩脩x i
j
脨脷脮脹脩
n
X
i=1
β
i
K
X
v=1
σx
v
脱脩
K
X
v=1
n
X
i=1
σx i脩脩
v
腬腯腧脨σx i脩脩
v
们不讨论腌腡腧腲腡腮腧腩腡腮脨腄腵腡腬脩腋腡腲腵腳腨脭腋腵腨腮脭腔腵腣腫腥腲脨腋腋腔脩
脨脸脮脹脩 Lσx i脩脩
v
L
σx i脩脩
v
λ
v
x i β
i
腬腯腧σx i脩脩
v
脨脷脮脱脰脩
令上脨脸脮脱脰脩
λ
v
x i β
i
腬腯腧σx i脩脩
v
脱 脽 脰 脨脷脮脱脱脩
σx i脩脩
v
e
λ
v
x (i)+β
i
1
脨脷脮脱脲脩
脨脸脮脶脩σx i脩脩
v
k
X
v=1
e
λ
v
x (i)+β
i
1
脽 脱 脨脷脮脱脳脩
e
β
i
1
P
k
v=1
e
λ
v
x (i)1
脨脷脮脱脴脩
e
β
i
1
脨脸脮脱脲脩
σx i脩脩 脽
e
λ
u
x (i)
P
k
v=1
e
λ
v
x (i)
脨脷脮脱脵脩
σx 脩 脽
e
λ
u
x
P
k
v=1
e
λ
v
x
脨脷脮脱脶脩
脵脰
脨脸脮脱脶脩脷脮脲中从广线腓腯腦腴腭腡腸
7.3 Log-Linear
腓腯腦腴腭腡腸 线 腌腯腧脭
腌腩腮腥腡腲
py|x w脩 脽
腥腸腰
c
P
|w|
j=1
w
j
f
j
x, y
Zx, w
,
Zx, w脩 脽
X
y
0
Y
腥腸腰
c
|w|
X
j=1
w
j
f
j
x, y
0
形式
py|x w脩 脽
腥腸腰
w
T
fx, y
Zx, w
一下腓腯腦腴腭腡腸腓腯腦腴腭腡腸线
vx, y脩 脽 w
T
fx, y
py|x w脩 脽 σvx, y脩脩
yY
e
v(x,y)
P
y
0
Y
e
v(x,y
0
)
腌腯腧腌腩腮腥腡腲X Y 化参w
的目腌腩腫腥腬腩腨腯 `w w
k
形式
`w脩 脽 腬腯腧 P X, Y |w 脨脷脮脱脷脩
N
X
i=1
腬腯腧 px
i
, y
i
|w 脨脷脮脱脸脩
N
X
i=1
腬腯腧 py
i
|x
i
wpx
i
脨脷脮脱脹脩
N
X
i=1
腬腯腧 py
i
|x
i
w
N
X
i=1
腬腯腧 px
i
脨脷脮脲脰脩
`w
w
k
N
X
i=1
腬腯腧 py
i
|x
i
w
w
k
脨脷脮脲脱脩
数无
P
N
i=1
腬腯腧 px
i
脩脬
脷脮脳 腌腯腧脭腌腩腮腥腡腲 脵脱
`w脩 脽
n
X
i=1
腬腯腧 py
i
|x
i
w 脨脷脮脲脲脩
于上腬腯腧 py
i
|x
i
w
腬腯腧 py
i
|x
i
w 腬腯腧
腥腸腰脨w
T
fx
i
, y
i
脩脩
P
y
0
∈Y
腥腸腰脨w
T
fx
i
, y
0
脩脩
脨脷脮脲脳脩
w
T
fx
i
, y
i
腬腯腧
X
y
0
∈Y
腥腸腰脨w
T
fx
i
, y
0
脩脩 脨脷脮脲脴脩
w
k
w
k
w
T
fx
i
, y
i
脩 脽
w
k
X
k
w
k
f
k
x
i
, y
i
脩脩 脽 f
k
x
i
, y
i
脨脷脮脲脵脩
gw脩 脽
P
y
0
∈Y
腥腸腰脨w
T
fx
i
, y
0
脩脩
腬腯腧 gw 脨脷脮脲脶脩
w
k
w
k
腬腯腧 gw脩 脽
gw
w
k
gw 脨脷脮脲脷脩
w
k
gw脩 脽
X
y
0
∈Y
f
k
x
i
, y
0
腥腸腰脨w
T
fx
i
, y
0
脩脩 脨脷脮脲脸脩
w
k
腬腯腧 gw
P
y
0
∈Y
f
k
x
i
, y
0
腥腸腰脨w
T
fx
i
, y
0
脩脩
P
y
0
∈Y
腥腸腰脨w
T
fx
i
, y
0
脩脩
脨脷脮脲脹脩
X
y
0
∈Y
f
k
x
i
, y
0
×
腥腸腰脨w
T
fx
i
, y
0
脩脩
P
y
0
∈Y
腥腸腰脨w
T
fx
i
, y
0
脩脩
脨脷脮脳脰脩
X
y
0
∈Y
f
k
x
i
, y
0
py
0
|x w 脨脷脮脳脱脩
脨脷脮脲脵脩脨脷脮脳脱脩
dLv
dv
k
n
X
i=1
f
k
x
(i)
, y
(i)
脩脩 脽 f
k
x
(i)
, y
(i)
n
X
i=1
X
y
0
∈Y
py|x
(i)
vf
k
x
(i)
, y
脨脷脮脳脲脩
Part VI
(Entropy)GLM, MaxEnt,
MLE
Chapter 8
(Entropy)
广 线 脨腇腌腍脩 脨腍腡腸腩腭腵腭 腌腩腫腥腬腩脭
腨腯 腅腳腴腩腭腡腴腩腯腮脬 腍腌腅脩 脨腅腸腰腯腮腥腴腩腡腬 腡腭腩腬腹脩
脨腃腵腭腵腬腡腮腴 腇腥腮腥腲腡腴腩腮腧 腵腮腣腴腩腯腮脩
以从
8.1
XX
P x
i
脩 脽 P X x
i
脩 脽 p
x
i
HX脩 脽 E腛腉脨X脩腝 脽 E腬腮脨腐脨X脩脩腝.
HX脩 脽
n
X
i=1
腐脨x
i
腉脨x
i
脩 脽
n
X
i=1
腐脨x
i
腬腯腧
2
腐脨x
i
,
脨腁腸腩腭腡腴腩腣脩
形式
期望脨腃腯腤腩腮腧脩
期望
8.1.1
HX Hp
1
, . . . , p
N
脱脮 Hp
1
, . . . , p
N
脵脵
脵脶 脨腅腮腴腲腯腰腹脩
脲脮 Hp
1
, . . . , p
N
p
i
脳脮 p
i
/NHp
1
, . . . , p
N
脩脬 N
脴脮
AX, Y, ZX x
1
, x
2
x
1
P Y
x
2
P Z
HA脩 脽 HX P x
1
HY P x
2
HZ
中一A X
1
, . . . , X
n
HA脩 脽
n
X
i=1
HX
i
Y y
1
, . . . , y
n
Z
z
1
, . . . , z
m
HY Z脩 脽
n
X
i=1
m
X
j=1
φy
i
z
j
脩 脽
n
X
i=1
φy
i
m
X
j=1
φz
j
脩 脽 HY HZ
脨脸脮脱脩
形式
HX脩 脽 K
n
X
i=1
腐脨x
i
腬腯腧
腐脨x
i
脸脮脱分别y
k
y
t
m
X
j=1
z
j
φ
0
y
k
z
j
脩 脽 φ
0
y
k
m
X
j=1
z
t
φ
0
y
t
z
j
脩 脽 φ
0
y
t
m
X
j=1
z
j
φ
0
y
k
z
j
φ
0
y
t
z
j
脩腝 脽 φ
0
y
k
φ
0
y
t
脨腒腩腧腨 腈腡腮腤 腓腩腤腥脬 腲脮腨脮腳脩z
j
m
X
j=1
z
j
φ
0
y
k
z
j
φ
0
y
t
z
j
φ
0
y
k
φ
0
y
t
脩脩腝 脽 脰
Y Z
脸脮脱 脵脷
φ
0
y
k
z
j
φ
0
y
t
z
j
φ
0
y
k
φ
0
y
t
脩脩 脽 脰
φ
0
y
k
z
j
φ
0
y
t
z
j
脩 脽 φ
0
y
k
φ
0
y
t
y
t
脽 脱
φ
0
y
k
z
j
φ
0
y
t
z
j
脩 脽 φ
0
y
k
φ
0
y
t
φ
0
y
k
z
j
φ
0
z
j
脩 脽 φ
0
y
k
φ
0
脨脱脩
φ
0
y
k
z
j
脩 脽 φ
0
y
k
φ
0
z
j
φ
0
脨脱脩
以从脸脮脱
φ
0
y
k
z
j
脩 脽 φ
0
y
k
φ
0
z
j
φ
0
脨脱脩
φ
0
y
k
z
j
脩 脽 φ
0
y
k
φ
0
z
j
西 脨腃腡腵腣腨腹脧腳 腵腮腣腴腩腯腮 腅腱腵腡腴腩腯腮脩 fx
Ax B
fx y脩 脽 fx f y
f脨腬腯腧 y
k
腬腯腧 z
j
脩 脽 f脨腬腯腧 y
k
f 脨腬腯腧 z
j
φ
0
x脩 脽 f脨腬腯腧 x
φ
0
x脩 脽 K 腬腯腧 x B
φx脩 脽 Kx 腬腯腧 x B Kx C
φ脨脰脩 脽 脰φ脨脱脩 脽 脰C 脽 脰, B K 脽 脰
φx脩 脽 Kx 腬腯腧 x
HX脩 脽 φP X脩脩 脽 φ{P x
1
, . . . , P x
n
}
n
X
i=1
K腐脨x
i
腬腯腧
腐脨x
i
K
n
X
i=1
腐脨x
i
腬腯腧
腐脨x
i
形式
的直观解得心
脵脸 脨腅腮腴腲腯腰腹脩
8.1.2 期望
一个
N p
i
/N
N /p
i
N 脨腐腲腥脌腸 腃腯腤腥腳脩
N么二
Lenp
i
脩 脽 腬腯腧 N 脽 腬腯腧
p
i
{p
1
, . . . , p
n
}
ELenp
i
脩脩 脽
n
X
i=1
p
i
Lenp
i
脩 脽
n
X
i=1
p
i
腬腯腧
p
i
脨腉腮腴腵腩腴腩腶腥脩
腬腯腧
期望脨腍腩腮腩腭腵腭 腁腶腥腲腡腧腥 腃腯腤腥
腌腥腮腧腴腨脩
8.1.2.1
脨腒腥腬腡腴腩腶 腅腮腴腲腯腰 腒腅脩
RE
KL
P kQ脩 脽
X
i
P i 腬腯腧
P i
Qi
X
i
P i 脨腬腯腧
P i
腬腯腧
Qi
腋腌
价于腋腌
8.1.2.2 KL
腋腌 脨腋腵腬腬腢腡腣腫脭腌腥腩腢腬腥腲 腄腩腶腥腲脭
腧腥腮腣腥脩腋腌的相
脸脮脱 脵脹
D
KL
P kQ脩 脽
X
i
P i 腬腯腧
P i
Qi
X
i
P i 脨腬腯腧
Qi
腬腯腧
P i
Fig. 8.1 腋腌脨腋腵腬腬腢腡腣腫脭腌腥腩腢腬腥腲 腄腩腶腥腲腧腥腮腣腥脩
腋腌
腬腯腧
1
Q(i)
腬腯腧
1
P (i)
脸脮脱
期望
8.1.2.3
脨腍腵腴腵腡腬 腉腮腦腯腲腭腡腴腩腯腮脬 腍腉脩
IX Y 脩 脽
X
x,y
px, y 腬腯腧
px, y
pxpy
X
x,y
px, y脩脨腬腯腧
pxpy
腬腯腧
px, y
腘脬 px, y pxpy腘脬
脶脰 脨腅腮腴腲腯腰腹脩
IX Y 脩 脽
X
x,y
px, y 腬腯腧
px, y
pxpy
X
y
py
X
x
px|y 腬腯腧
px|y
px
X
y
pyD
KL
px|ykpx脩脩
E
Y
{D
KL
px|ykpx脩脩}.
px|y到分px腋腌y期望
有极
IX Y 脩 脽
X
x,y
px, y 腬腯腧
px, y
pxpy
脨脸脮脲脩
X
x,y
px, y 腬腯腧
px, y
px
X
x,y
px, y 腬腯腧 py 脨脸脮脳脩
X
x,y
pxpy|x 腬腯腧 py|x
X
x,y
px, y 腬腯腧 py 脨脸脮脴脩
X
x
px
X
y
py|x 腬腯腧 py|x
!
X
y
腬腯腧 py
X
x
px, y
!
脨脸脮脵脩
X
x
pxHY |X x
X
y
腬腯腧 pypy 脨脸脮脶脩
HY |X HY 脨脸脮脷脩
HY HY |X. 脨脸脮脸脩
脨脸脮脹脩
8.2
8.2.1 的直
腅腤腷腩腮脮腊腡腹腮腥腳腇腲腡腨腡腭脮腗腡腬腬腩腳
一个 脨腗腡腬腬腩腳 腄腥腲腩腶腡腴腩腯腮脩
脨腱腵腡腮腴腡脩
分到n
i
p
i
n
i
N
脸脮脲 脶脱
Fig. 8.2 脨腍腵腴腵腡腬 腉腮腦腯腲腭腡腴腩腯腮脩
p
i
使
W
N
n
1
n
2
··· n
m
们也每次m
N
P p脩 脽
W
m
N
WN
形式
N
腬腯腧 W
N
腬腯腧
N
n
1
n
2
··· n
m
N
腬腯腧
N
Np
1
脩脡 Np
2
脩脡 ··· Np
m
脩脡
N
腬腯腧 N
m
X
i=1
腬腯腧脨脨Np
i
脩脡脩
!
.
腓腴腩腲腬腩腮腧
腬腮 n脡 脽 n 腬腮 n n O脨腬腮 n
脶脲 脨腅腮腴腲腯腰腹脩
腬腩腭
N→∞
N
腬腯腧 W
N
N 腬腯腧 N N
m
X
i=1
Np
i
腬腯腧脨Np
i
N p
i
!
脽 腬腯腧 N
m
X
i=1
p
i
腬腯腧脨Np
i
N 脨脱
m
X
i=1
p
i
脽 腬腯腧 N 腬腯腧 N
m
X
i=1
p
i
m
X
i=1
p
i
腬腯腧 p
i
m
X
i=1
p
i
!
腬腯腧 N
m
X
i=1
p
i
腬腯腧 p
i
m
X
i=1
p
i
腬腯腧 p
i
Hp.
一个使
8.2.2
腊腡腹腮腥腳形式了三
脱脮 mx 不一 一个
脲脮
P
xS
fx脩 脽 脱脬 fx 仅仅
脳脮
P
xS
t
j
xfx E{t
j
x} µ
j
j Jt
j
x一个
期望µ
j
脴脮 腡腲腧 腭腡腸
f(x)
REfxkmx脩脩
的相
REfxkmx脩脩 脽
X
xS
fx 腬腯腧
fx
mx
Lf脩 脽
X
xS
fx 腬腯腧
fx
mx
λ
X
xS
fx 脱脩
X
jJ
θ
j
X
xS
t
j
xfx µ
j
f
脸脮脲 脶脳
脰 脽
Lf
f
脨腬腯腧
fx
mx
脱脩 λ
X
jJ
θ
j
t
j
x
腬腯腧 fx 腬腯腧 mx λ
X
jJ
θ
j
t
j
x
fx脩 脽 mx 腥腸腰腛λ
X
jJ
θ
j
t
j
x脩腝
脱 脽
X
xS
fx脩 脽
X
xS
mx 腥腸腰{λ
X
jJ
θ
j
t
j
x}
e
λ1
X
xS
mx 腥腸腰{
X
jJ
θ
j
t
j
x}
λ 脽 腬腯腧
X
xS
mx 腥腸腰腛
X
jJ
θ
j
t
j
x脩腝
义为θ 脽 脨θ
1
, . . . , θ
|J|
tx脩 脽 脨t
1
x, . . . , t
|J|
x脩脩
bθ脩 脽 腬腯腧
X
xS
mx 腥腸腰腛
X
jJ
θ
j
t
j
x脩腝
脽 腬腯腧
Ee
t(x)
T
θ
脽 脱 λ
fx形式
fx脩 脽 mx 腥腸腰腛bθ
X
jJ
θ
j
t
j
x脩腝
mx 腥腸腰腛tx
T
θ bθ脩腝
从上 bθ
腋腌
形式期望
脶脴 脨腅腮腴腲腯腰腹脩
8.2.3
不 仅
脨腍腡腸腩腭腵腭 腌腩腫腥腬腩腨腯腯 腅腳腴腡腴腩腯腮脬 腍腌腅脩
N
一个px
px脩 脽
N
N
X
n=1
δx, x
n
δx, x
n
脨腄腩腲腡腣 腍腥腡腳腵腲腥脩脨腉腮腤腩腣腡腴腯腲
腵腮腣腴腩腯腮脩
n px px
px px|θ
RE pxkpx|θ脩脩 脽
X
x
px 腬腯腧
px
px|θ
脨脸脮脱脰脩
X
x
px 腬腯腧 腾px
X
x
px 腬腯腧 px|θ 脨脸脮脱脱脩
腭腡腸 RE pxkpx|θ脩脩 腭腩腮 D
KL
pxkpx|θ脩脩
θ
脽 腡腲腧 腭腡腸
θ
RE pxkpx|θ脩脩
θ
脽 腡腲腧 腭腡腸
θ
X
x
px 腬腯腧 px|θ
X
x
px 腬腯腧 px|θ脩 脽
X
x
N
N
X
n=1
δx, x
n
腬腯腧 px|θ
N
N
X
n=1
X
x
δx, x
n
腬腯腧 px|θ
N
N
X
n=1
腬腯腧 px
n
|θ
脨腌腯腧 腌腩腫腥腬腩腨腯腤脬 腌腌脩
脸脮脲 脶脵
`θ脩 脽 腬腯腧 P X|θ脩 脽
N
X
n=1
腬腯腧 px
n
|θ
θ
脽 腡腲腧 腭腡腸
θ
RE pxkpx|θ脩脩
脽 腡腲腧 腭腡腸
θ
X
x
px 腬腯腧 px|θ
脽 腡腲腧 腭腡腸
θ
N
N
X
n=1
腬腯腧 px
n
|θ
脽 腡腲腧 腭腡腸
θ
N
`θ
脽 腡腲腧 腭腡腸
θ
`θ
脨腍腌腅脩
脸脮脱脱
RE pxkpx|θ脩脩 脽 D
KL
pxkpx|θ脩脩 脽 Hpx脩脩
N
`θ
分分脨腖腡腲腩腡腴腩腯腮腡腬 腉腮腦腥腲腥腮腣腥脩来构
Part VII
Logistic PCA
Chapter 9
Logistic PCA
广线广线 线
使
脨腄腩腭腥腮腳腩腯腮腡腬腩腴 腒腥腤腵腣腴腩腯腮脩
分分脨腐腲腩腮腣腩腰腡腬 腃腯腭腰腯腮腥腮 腁腮腡腬腹腳腩腳脬 腐腃腁脩腐腃腁
广
腇腌腍 线广
9.1 (PCA)
x
1
, ··· , x
n
R
D
经经脨腃腥腮腴腲腡腬腩腺腡腴腩腯腮脩
P
i
x
i
腐腃腁 要解一个R
d
d <
D
分别从三个腐腃腁
9.1.1
一个脨腈腹腰腥腲腰腬腡腮腥脩脨腐腲腯腪腥腣腴腩腯腮脩设该
w R
D
x w
w
T
x 脨脹脮脱脩
脨腖腡腲腩腡腮腣腥脩
n
n
X
i=1
w
T
x
i
2
w
T
Sw 脨脹脮脲脩
脶脹
脷脰 腌腯腧腩腳腴腩腣 腐腃腁
S
n
X
i
x
i
x
T
i
脨脹脮脳脩
S
Covariance Matrix
腐腃腁 一个w使
思想一个
腭腡腸
w
w
T
Sw 脨脹脮脴脩
s.t. kwk 脽 脱 脨脹脮脵脩
使Lagrangian
L w
T
Sw λ脨脱 w
T
w 脨脹脮脶脩
Lw
L
w
脽 脲Sw λw 脨脹脮脷脩
令上
Sw λw 脨脹脮脸脩
w S
λ w
脨脹脮脴脩
w
T
Sw w
T
λw λ 脨脹脮脹脩
w
9.1.2
腼腼脨腒腥腣腯腮腳腴腲腵腣腴腩腯腮脩腐腃腁
u
1
, ··· , u
D
么 任一个x
i
线
x
i
D
X
j=1
α
ij
u
j
脨脹脮脱脰脩
α
ij
u
T
j
x
i
脨脹脮脱脱脩
d
x
i
脹脮脱 脨腐腃腁脩 脷脱
x
i
d
X
j=1
α
ij
u
j
脨脹脮脱脲脩
x
i
x
i
脨腅腲腲腯腲脩
n
n
X
i=1
kx
i
x
i
k
2
n
n
X
i=1
k
D
X
j=1
α
ij
u
j
d
X
j=1
α
ij
u
j
k
2
脨脹脮脱脳脩
n
n
X
i=1
k
D
X
j=d+1
α
ij
u
j
k
2
脨脹脮脱脴脩
n
n
X
i=1
D
X
j=d+1
α
2
ij
脨脹脮脱脵脩
n
n
X
i=1
D
X
j=d+1
u
T
j
x
i
x
T
i
u
j
脨脹脮脱脶脩
D
X
j=d+1
u
T
j
Su
j
脨脹脮脱脷脩
脨脹脮脱脵脩u脨脹脮脱脶脩脨脹脮脱脱脩脨脹脮脱脷脩
脨脹脮脳脩D d
d D 一个
Sλ
D
w
D
w
T
D
Sw
D
λ
D
脨腄脭腤脩
9.1.3
腐腃腁
x
i
x
i
脨腅腲腲腯腲脩
n
n
X
i=1
kx
i
x
i
k
2
脨脹脮脱脸脩
腐腃腁 x
i
P
θ
i
P
θ
θ R
D
腐腃腁 θ
1
, ··· , θ
n
使
脨腌腩腫腥腬腩腨腯腯腤脩一个
θ
1
, ··· , θ
n
脨腎腯腩腳腥脩
x
1
, ··· , x
n
腐腃腁
脷脲 腌腯腧腩腳腴腩腣 腐腃腁
脨腍腌腅脩
腍腌腅腌腯腧Negative Log Likelihood, NLL
n
n
X
i=1
kx
i
θ
i
k
2
脨脹脮脱脹脩
脨脹脮脱脹脩脨脹脮脱脸脩
x
i
使腐腃腁
使腐腃腁
腐腃腁广
9.2 PCA广广广
x
i
腐腃腁
本材腼腼 期望
线
线广 广线
脨腇腌腍脩腐腃腁
腇腌腍 腎腡腴腵腲腡腬 腯腲腭脨脲脮脱脩
中专腇腌腍 腼腼 Natural
Exponential Family
9.2.1
形式
P x θ脩 脽 P
0
x 腥腸腰脨ηθT x Gθ脩脩 脨脹脮脲脰脩
θ P
0
xGθ ηθT x
腼腼 ηθT x
Identity Function
P x θ脩 脽 P
0
x 腥腸腰脨θx Gθ脩脩 脨脹脮脲脱脩
脨脹脮脲脱脩点点
P x θ脩 脽
P
0
xe
θx
e
G(θ)
x
脹脮脲 腐腃腁广 脷脳
X
x
P x θ脩 脽
X
x
P
0
xe
θx
e
G(θ)
脱 脽
P
x
P
0
xe
θx
e
G(θ)
e
G(θ)
X
x
P
0
xe
θx
Gθ脩 脽 腬腯腧
X
x
P
0
xe
θx
脨脹脮脲脲脩
GθP x θx
腇腌腍脨脲脮脵脩脩Gθ又可
P
0
x了以上两Gθ
广腐腃腁Gθ
G
0
θ脩 脽
P
x
P
0
xe
θx
· x
P
x
P
0
xe
θx
脨脹脮脲脳脩
P
x
P
0
xe
θx
· x
e
G(θ)
脨脹脮脲脴脩
X
x
P
0
xe
θxG(θ)
· x 脨脹脮脲脵脩
脨脹脮脲脳脩脨脹脮脲脴脩Gθ脩脨脹脮脲脲脩脨脹脮脲脵脩 Gθ x
P x θ期望Ex|θGθgθ
腐腃腁三个 x
i
使 们也
使 腎腌腌脨脹脮脱脹脩脩
广
广
广腐腃腁腼腼腂腲腥腧腭腡腮 Bregman
Divergence
9.2.2 Bregman
腂腲腥腧腭腡腮
F R 脨腃腬腯腳腥腤脩脨腃腯腮腶腥腸脩 R
脨腄腩脋腥腲腥腮腴腩腡腢腬腥脩脨腓腴腲腩腣腴腬腹 腃腯腮腶腥腸脩F 腂腲腥腧腭腡腮
义为
B
F
pkq脩 脽 F p F q f q脩脨p q 脨脹脮脲脶脩
p, q fx F
0
xF 脨脹脮脲脶脩
F pq
脷脴 腌腯腧腩腳腴腩腣 腐腃腁
F p脩 脽
F q
脰脡
F
0
q
脱脡
p q R
n
p 脨脹脮脲脷脩
R
n
p脩 脽 F p F q fq脩脨p q 脨脹脮脲脸脩
脨脹脮脲脸脩BregmanF pq
R
n
pF p 线线线()
腂腲腥腧腭腡腮 Fx kxk
2
腂腲腥腧腭腡腮B
F
xky脩 脽 kx yk
2
F p脩 脽
P
i
p
i
腬腯腧 p
i
腂腲腥腧腭腡腮 B
F
pkq
P
i
p
i
腬腯腧
p
i
q
i
腋腌 KL-
Divergence
脨腂腲腥腧腭腡腮
腐腃腁
9.2.3 PCA广广广(PCA for the
Exponential Family)
x
1
, ··· , x
n
P x θθ
1
, ··· , θ
n
使脨腌腩腫腥腬腩腨腯腯腤脩
Θ 腡腲腧 腭腡腸
Θ
LP, x, Θ 脨脹脮脲脹脩
脽 腡腲腧 腭腡腸
Θ
Y
i
P x
i
θ
i
脨脹脮脳脰脩
P x θ腬腯腧
腬腯腧 P x θ脩 脽 腬腯腧 P
0
x x θ Gθ 脨脹脮脳脱脩
义一个gθ脩 脽 µGθ 脨腄腵腡腬脩
F µ
F µ脩 脽 θµ Gθ 脨脹脮脳脲脩
F x B
F
x kµ F x F x F µ F
0
µ脩脨x µ脩腝 脨脹脮脳脳脩
F µ θx µ 脨脹脮脳脴脩
x θ F µ θµ 脨脹脮脳脵脩
x θ Gθ 脨脹脮脳脶脩
脨脹脮脳脳脩脨脹脮脳脴脩F
0
µ脩 脽 θF µµ脨脹脮脳脵脩脨脹脮脳脶脩F µ
脨脹脮脳脲脩
脹脮脲 腐腃腁广 脷脵
x θ Gθ脩 脽 F x B
F
x kµ 脨脹脮脳脱脩
腬腯腧 P x θ脩 脽 腬腯腧 P
0
x F x B
F
x kµ 脨脹脮脳脷脩
Θ腎腌腌脨脨脹脮脳脰脩腬腯腧脩中代脨脹脮脳脷脩
LΘ脩 脽
X
i
X
j
腬腯腧 P x
ij
θ
ij
脨脹脮脳脸脩
Cx
X
i
X
j
B
F
x
ij
kgθ
ij
脩脩 脨脹脮脳脹脩
Cx B
F
x kgΘ脩脩 脨脹脮脴脰脩
的目
Θ
pca
脽 腡腲腧 腭腩腮
Θ
B
F
x kgΘ脩脩 脨脹脮脴脱脩
θ
i
x
i
腐腃腁 脨脹脮脱脲脩脩
v
1
, . . . , v
d
R
D
θ
i
线
θ
i
P
k
a
ik
v
k
x
i
Xn × Dx
i
V d × D
v
k
An × da
ik
Θ AV
n × Diθ
i
Θθ
ij
X x
ij
θ
ij
义 了 x
ij
ΘAV
脨脹脮脳脸脩 便
LV, A 腬腯腧 P X A, V 脨脹脮脴脲脩
X
i
X
j
腬腯腧 P x
ij
θ
ij
脨脹脮脴脳脩
Cx
X
i
X
j
x
ij
Gθ
ij
脩脩 脨脹脮脴脴脩
θCx腂腲腥腧腭腡腮脨脹脮脳脶脩脩形式得
LV, A脩 脽
X
i
X
j
B
F
x
ij
kgθ
ij
脩脩 脨脹脮脴脵脩
使腃腯腯腲腤腩腮腡腴腥 腄腥腳腣腥腮腴思想AVVA
AV
x
i
x
i
Px θ
腂腲腥腧腭腡腮 B
F
pkq腂腲腥腧腭腡腮 便 腂腲腥腧腭腡腮
脷脶 腌腯腧腩腳腴腩腣 腐腃腁
Bregman Projectionx
i
腂腲腥腧腭腡腮gθ
i
θ
i
v
1
, . . . , v
l
线
a
i,1
, . . . , a
i,l
θ
i
P
l
k=1
a
ik
v
k
AV使x
i
腂腲腥腧腭腡腮腂腲腥腧腭腡腮
V, A脩 脽 腡腲腧 腭腩腮
V,A
n
X
i=1
B
F
x
i
kg
l
X
k=1
a
i,k
v
k
脩脩 脨脹脮脴脶脩
V 腐腃腁
V义 了一个x
i
脨腓腵腲腦腡腣腥脩V
SV脩 脽 {gaV|a R
l
}V
V 脽 腡腲腧 腭腩腮
V
X
i
腭腩腮
q∈S(V)
B
F
x
i
kq 脨脹脮脴脷脩
Appendix
Appendix A
Logisitic
A.1 Sigmoid, LogisticLogit
A.1.1 Sigmoid
腓腩腧腭腯腩腤 S 脨腁腣腴腩腶腡腴腩腯腮 腦腵腮腣脭
腴腩腯腮脩脨腓腴腥腰 腵腮腣腴腩腯腮脩腡腮腈
线脨腒腥腣腴腩脌腥腤 腌腩腮腥腡腲 腕腮腩腴脬 腒腥腌腕脩腓腩腧腭腯腩腤 广
脨腓腯腦腴 腓腴腥腰 腵腮腣腴腩腯腮脩
St脩 脽
e
t
.
一个形式
S
0
t脩 脽 St脩脨脱 St脩脩.
A.1.2 Logistic
脨腌腯腧腩腳腴腩腣 腵腮腣腴腩腯腮脩线腛脰, Lk脨腓腴腥腥腰腮腥腳腳脩
x
0
脨腍腩腤腰腯腩腮腴脩 S脨腓腩腧腭腯腩腤脩线
腓腩腧腭腯腩腤一个为一形式
fx脩 脽
L
k(xx
0
)
k , x
0
, L
脨腓腴腡腮腤腡腲腤 腌腯腧腩腳腴腩腣 腵腮腣腴腩腯腮脩腓腩腧腭腯腩腤
脷脹
脸脰 腌腯腧腩腳腩腴腩腣
A.1.3 Logit
腌腯腧腩腴 脨腌腯腧脭腯腤腤腳脩脬 脨腯腤腤腳脩 脨腎腡腴腵腲腡腬 腌腯腧腡脭
腲腩腴腨腭脩形式
腬腯腧腩腴脨p脩 脽 腬腯腧
p
p
脽 腬腯腧脨p 腬腯腧脨脱 p脩 脽 腬腯腧
p
.
他们腌腯腧腩腴腌腯腧腩腳腴腩腣
腬腯腧腩腳腴腩腣脨α脩 脽 腬腯腧腩腴
1
α脩 脽
腥腸腰脨α
腌腯腧腩腴腌腯腧腩腳腴腩腣
Appendix B
广广广线线线
B.1
脨腅腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腹 腅腆脩
形式脨腎腡腴腵腲腡腬 腯腲腭脬 腎腆脩 脨腎腡腴腵腲腡腬 腅腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腹
腎腅腆脩脨腇腥腮腥腲腡腬
腯腲腭脬 腇腆脩脨腍腥腡腮 腡腬腵腥 腎腡腴腵腲腡腬 腯腲腭脬 腍腖腎腆脩
一下他们之
B.1.1 (GEF)
脨腇腥腮腥腲腡腬 腅腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腹 腇腅腆脩脬
py θ脩 脽 腥腸腰腛dθey gθ hy脩腝
形式
脱脮 yhy
脲脮 θgθ
脳脮 yθdθey
B.1.2 (NEF)
脨腎腡腴腵腲腡腬 腅腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腹 腎腅腆脩
py θ, φ脩 脽 腥腸腰腛
yθ bθ
aφ
cy, φ脩腝
脸脱
脸脲 广线
形式脨腄腩腳腰腥腲腳腩腯腮 腅腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腹 腄腅腆脩
脱脮 脨腃腵腭腵腬腡腮腴 腇腥腮腥腲腡腴腩腮腧 腵腮腣腴腩腯腮脩 bθ
脲脮 脨腃腡腮腯腮腩腣腡腬 腡腲腡腭腥腴腥腲脩 θ
脳脮 脨腄腩腳腰腥腲腳腩腯腮 腡腲腡腭腥腴腥腲脩 φ
λ形式λ脨腐腲腥腣腩腳腩腯腮 腐腡腲腡腭腥腴腥腲脩
λ
aφ
py θ, λ脩 脽 腥腸腰腛λ{yθ bθ} cy, λ脩腝
一些们也
脱脮 µ EY 腝 脽 b
0
θ
脲脮 V arY 腝 脽 b
00
θφ V arµφ
脳脮 gxθ gµ
B.1.3 (MVNF)
脨腍腥腡腮 腡腬腵腥 腅腸腰腯腮腥腮腴腩腡腬 腡腭腩腬腹 腍腖腅腆脩脬
θ 期望µµ τ θ θ τ
1
µτ
1
x脩 脽 gx脩脺
py µ, φ脩 脽 腥腸腰腛
τ
1
µy bτ
1
µ脩脩
aφ
cy, φ脩腝
Appendix C
(Entropy)
C.1
腒腵腤腯腬腦脮腃腬腡腵腳腩腵腳
腎腩腣腯腬腡腳脮腃腡腲腮腯腴
腅腮腴腲腯腰
脳脶岁就
腓腡腤腩
脱脵了一
Fig. C.1 腎腩腣腯腬腡腳脮腃腡腲腮腯腴
西腊腯腳腩腡腨脮腇腩腢腢腳
变化
腊腡腭腥腳脮腍腡腸腷腥腬腬腌腵腤腷腩腧脮腂腯腬腴腺腭腡腮
一个
为乱形式
脸脳
脸脴 脨腅腮腴腲腯腰腹脩
Fig. C.2 腒腵腤腯腬腦脮腃腬腡腵腳腩腵腳
Fig. C.3 西腊腯腳腩腡腨脮腇腩腢腢腳
Fig. C.4 腅腲腷腩腮脮腓腣腨腲腯腤腩腮腧腥腲
腅腲腷腩腮脮腓腣腨腲腯腤腩腮腧腥腲
腃腬腡腵腤腥脮腓腨腡腮腮腯腮 西
腊腯腨腮脮腶腯腮脮腎腥腵腭腡腮腮
讨论
腃脮脱 脸脵
Fig. C.5 腃腬腡腵腤腥脮腓腨腡腮腮腯腮
Fig. C.6 腊腯腨腮脮腶腯腮脮腎腥腵腭腡腮腮
Fig. C.7 腅腤腷腩腮脮腊腡腹腮腥腳
腅腤腷腩腮脮 腔脮 腊腡腹腮腥腳脬
理理